【プレビュー】AWS Glue で Ray が利用できるようになりました！#reinvent

AWS re:Invent 2022

#AWS Glue

#Ray

#Python

#AWS

#ETL

森田力

2022.11.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、森田です！先日、AWS Glue on Ray のプレビューが発表されました。

AWS Glue on Ray について

そもそも Ray とは

Pythonの分散並列処理のフレームワークとなっております。 Rayの特徴としては、とてもシンプルに記述できるように設計されており、分散並列処理をPythonで簡単に行うことができます。以下は、実際にモンテカルロ法で円周率を出すサンプルコードとなっており、とてもシンプルに記述できることがわかります。

import ray
import time
from random import random
# Let's start Ray
ray.init()

SAMPLES = 1000000
# By adding the `@ray.remote` decorator, a regular Python function
# becomes a Ray remote function.


@ray.remote
def pi4_sample():
    in_count = 0
    for _ in range(SAMPLES):
        x, y = random(), random()
        if x * x + y * y <= 1:
            in_count += 1
    return in_count


# To invoke this remote function, use the `remote` method.
# This will immediately return an object ref (a future) and then create
# a task that will be executed on a worker process. Get retreives the result.
st = time.time
future = pi4_sample.remote()
pi = ray.get(future) * 4.0 / SAMPLES
print(f'{pi} is an approximation of pi')